π-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows
π-Bench：评估长程工作流中主动个人助理智能体
🧭 主动个人助理智能体评估 · 长程交互与隐藏意图 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · The Chinese University of Hong Kong · Fudan University · University of Science and Technology of China
提出π-Bench基准，量化智能体在多轮交互中主动发现与解决用户隐藏意图的能力
📌 工作参考价值（4 点）
- 隐藏意图建模：在电商对话推荐、客服助手等场景中，可显式定义"hidden intents"（如预算、品牌偏好、未明说的限制），并追踪agent是否主动询问或推断，以此作为主动性指标。
- 跨会话依赖设计：借鉴跨session依赖的构建方式，模拟用户长期画像的持续利用，评估模型能否从历史交互中提取偏好并应用于新任务，用于电商个性化推荐的持续学习。
- 双维度评估解耦：将评估拆解为Proactivity（是否减少用户认知负担）和Completeness（最终交付质量），避免只奖励“用户反复提供信息后完成任务”的假象，适合评估对话式商品搜索、谈判等场景。
- 自动化用户模拟+评审协议：使用user agent模拟用户并跟踪意图状态，结合checklist与rubric判分，可为Agent工作流提供可复现的自动化回归测试框架，加速迭代。